在过去的十年中，神经网络在各种各样的反问题中取得了显着的成功，从医学成像到地震分析等学科中的采用促进了他们的收养。但是，这种反问题的高维度同时使当前理论预测，网络应在问题的维度上成倍扩展，无法解释为什么在这些设置中使用的看似很小的网络在实践中也可以正常工作。为了减少理论和实践之间的差距，在本文中提供了一种在具有低复杂性结构的高维置的神经网络近似Lipschitz函数所需的复杂性的一般方法。该方法基于这样的观察，即在\ mathbb {r}^in \ mathbb {r}^{d \ times d} $ in \ mathbb {a} \ in \ mathbb {a} \ in \ mathcal集合$ \ mathcal {S } \ subset \ mathbb {r}^d $中的低维立方体$ [ - m，m]^d $意味着对于任何Lipschitz函数$ f：\ mathcal {s} \ to \ mathbb {r}^p $ ，存在lipschitz函数$ g：[-m，m]^d \ to \ mathbb {r}^p $，使得$ g（\ mathbf {a} \ mathbf {x}）= f（\ mathbf {x }）$用于所有$ \ mathbf {x} \ in \ mathcal {s} $。因此，如果一个人具有一个近似$ g的神经网络：[-m，m]^d \ to \ mathbb {r}^p $，则可以添加一个图层，以实现JL嵌入$ \ mathbf {A a} $要获得一个近似于$ f的神经网络：\ mathcal {s} \ to \ mathbb {r}^p $。通过将JL嵌入结果与神经网络近似Lipschitz函数的近似结果配对，然后获得了一个结果，这些结果绑定了神经网络所需的复杂性，以近似Lipschitz在高尺寸集合上的功能。最终结果是一个一般的理论框架，然后可以用它来更好地解释比当前理论所允许的更广泛的逆问题中较小的网络的经验成功。

过度分化的神经网络倾向于完全符合嘈杂的训练数据，但在测试数据上概括。灵感来自这一实证观察，最近的工作试图了解在更简单的线性模型中的良性过度或无害插值的这种现象。以前的理论工作批判性地假设数据特征是统计独立的，或者输入数据是高维的;这会阻止具有结构化特征映射的一般非参数设置。在本文中，我们为再生内核希尔伯特空间中的上限回归和分类风险提供了一般和灵活的框架。关键贡献是我们的框架在数据革处矩阵上描述了精确的充分条件，在这种情况下发生无害的插值。我们的结果恢复了现有的独立功能结果（具有更简单的分析），但它们还表明，在更常规的环境中可能发生无害的插值，例如有界正常系统的功能。此外，我们的结果表明，以先前仅针对高斯特征的方式显示分类和回归性能之间的渐近分离。

Searching long egocentric videos with natural language queries (NLQ) has compelling applications in augmented reality and robotics, where a fluid index into everything that a person (agent) has seen before could augment human memory and surface relevant information on demand. However, the structured nature of the learning problem (free-form text query inputs, localized video temporal window outputs) and its needle-in-a-haystack nature makes it both technically challenging and expensive to supervise. We introduce Narrations-as-Queries (NaQ), a data augmentation strategy that transforms standard video-text narrations into training data for a video query localization model. Validating our idea on the Ego4D benchmark, we find it has tremendous impact in practice. NaQ improves multiple top models by substantial margins (even doubling their accuracy), and yields the very best results to date on the Ego4D NLQ challenge, soundly outperforming all challenge winners in the CVPR and ECCV 2022 competitions and topping the current public leaderboard. Beyond achieving the state-of-the-art for NLQ, we also demonstrate unique properties of our approach such as gains on long-tail object queries, and the ability to perform zero-shot and few-shot NLQ.

We present the Habitat-Matterport 3D Semantics (HM3DSEM) dataset. HM3DSEM is the largest dataset of 3D real-world spaces with densely annotated semantics that is currently available to the academic community. It consists of 142,646 object instance annotations across 216 3D spaces and 3,100 rooms within those spaces. The scale, quality, and diversity of object annotations far exceed those of prior datasets. A key difference setting apart HM3DSEM from other datasets is the use of texture information to annotate pixel-accurate object boundaries. We demonstrate the effectiveness of HM3DSEM dataset for the Object Goal Navigation task using different methods. Policies trained using HM3DSEM perform outperform those trained on prior datasets. Introduction of HM3DSEM in the Habitat ObjectNav Challenge lead to an increase in participation from 400 submissions in 2021 to 1022 submissions in 2022.

第一人称视频在其持续环境的背景下突出了摄影师的活动。但是，当前的视频理解方法是从短视频剪辑中的视觉特征的原因，这些视频片段与基础物理空间分离，只捕获直接看到的东西。我们提出了一种方法，该方法通过学习摄影师（潜在看不见的）本地环境来促进以人为中心的环境的了解来链接以自我为中心的视频和摄像机随着时间的推移而张开。我们使用来自模拟的3D环境中的代理商的视频进行训练，在该环境中，环境完全可以观察到，并在看不见的环境的房屋旅行的真实视频中对其进行测试。我们表明，通过将视频接地在其物理环境中，我们的模型超过了传统的场景分类模型，可以预测摄影师所处的哪个房间（其中帧级信息不足），并且可以利用这种基础来定位与环境相对应的视频瞬间 - 中心查询，优于先验方法。项目页面：http：//vision.cs.utexas.edu/projects/ego-scene-context/

机器可以学习机器学习吗？我们建议使用我们用来回答类似问题的相同标准回答这个问题：人类学习机器学习吗？我们在人类级别的机器学习介绍中自动回答麻省理工学院的期末考试。该课程是一个大型的本科课程，每个学期约有五百名学生。最近，计划合成和几乎没有学习的学习解决了大学级问题，在人类层面设定了数学和STEM课程的问题。在这项工作中，我们从期末考试中解决了与问题集不同的问题：问题更长，有多个部分，更复杂，并且跨越了更广泛的主题。我们在2017年秋季至2022年春季之间的八项麻省理工学院介绍最终考试中提供了一个新的数据集和基准，并提供了自动回答这些问题并产生新问题的代码。我们进行消融研究，比较零拍的学习与几乎没有的学习，经过思考链的提示，GPT-3在文本上进行了预训练，并且在一系列机器学习主题上进行了代码进行了微调，并发现了很少的照片学习方法表现最好。我们将数据和代码公开用于机器学习社区。

对象目标导航的最新方法依赖于增强学习，通常需要大量的计算资源和学习时间。我们提出了使用无互动学习（PONI）的对象导航的潜在功能，这是一种模块化方法，可以散布“在哪里看？”的技能？对于对象和“如何导航到（x，y）？”。我们的主要见解是“在哪里看？”可以纯粹将其视为感知问题，而没有环境相互作用就可以学习。为了解决这个问题，我们提出了一个网络，该网络可以预测两个在语义图上的互补电位功能，并使用它们来决定在哪里寻找看不见的对象。我们使用在自上而下的语义图的被动数据集上使用受监督的学习来训练潜在的功能网络，并将其集成到模块化框架中以执行对象目标导航。 Gibson和MatterPort3D的实验表明，我们的方法可实现对象目标导航的最新方法，同时减少培训计算成本高达1,600倍。可以使用代码和预训练的模型：https：//vision.cs.utexas.edu/projects/poni/

现代视觉惯性导航系统（VINS）面临着实际部署中的一个关键挑战：他们需要在高度动态的环境中可靠且强大地运行。当前最佳解决方案仅根据对象类别的语义将动态对象过滤为异常值。这样的方法不缩放，因为它需要语义分类器来包含所有可能移动的对象类;这很难定义，更不用说部署。另一方面，许多现实世界的环境以墙壁和地面等平面形式表现出强大的结构规律，这也是至关重要的。我们呈现RP-VIO，一种单眼视觉惯性内径系统，可以利用这些平面的简单几何形状，以改善充满活力环境的鲁棒性和准确性。由于现有数据集具有有限数量的动态元素，因此我们还提供了一种高动态的光致态度合成数据集，用于更有效地对现代VINS系统的功能的评估。我们评估我们在该数据集中的方法，以及来自标准数据集的三个不同序列，包括两个真实的动态序列，并在最先进的单眼视觉惯性内径系统上显示出鲁棒性和准确性的显着提高。我们还显示在模拟中，通过简单的动态特征掩蔽方法改进。我们的代码和数据集是公开可用的。